Thấy quyền lực của Tư Mã Vĩ lớn mạnh, Giả hậu bèn tìm kế trừ khử ông đi. Hai tháng sau cái chết của Tư Mã Lượng, Giả hậu theo kế của Trương Hoa, phái Trung tướng quân Vương Cung tuyên bố Tư Mã Vĩ ngụy tạo chiếu chỉ giết Tư Mã Lượng và Vệ Quán, đem quân đánh ông. Bộ hạ của Tư Mã Vĩ biết chuyện, khuyên ông nên bỏ chạy nhưng ông không nghe, vẫn ở lại cầm cự. Cuối cùng Giả hậu lấy tội danh này, ra lệnh giết Tư Mã Vĩ ngay tại triều. Tư Mã Vĩ thọ 21 tuổi (271-292). Ông là vị vương thứ hai bị giết trong loạn bát vương.

Đến năm Vĩnh Ninh nguyên niên, triều đình mới ra lệnh minh oan cho ông, truy tằng là Phiêu kị tướng quân, ban thụy Sở Ẩn vương, rồi cho người con ông là Tư Mã Phạm làm Phạm Dương vương, sau Phạm bị quân của Thạch Lặc giết hại.